AI가 수많은 군중과 대규모 공공 행사를 사실적으로 시뮬레이션할 수 있는 수준에 도달했습니다. 이제 중요한 것은 기술의 퀄리티 자체가 아니라, 사람들이 이를 창의적으로 활용하는 엄청난 속도입니다. 온라인상의 현실과 조작된 콘텐츠를 구분하기 점점 더 어려워질 것입니다.
BBC의 조사 결과, 악의적인 단 한 편의 블로그 게시물만으로 챗GPT나 구글 제미나이 같은 주요 AI 챗봇을 속여 건강이나 재정과 관련된 심각한 허위 정보를 유포하는 것이 매우 쉽게 입증되었습니다. 이에 구글과 주요 AI 기업들은 스팸 방지 정책을 업데이트하고 보이지 않는 곳에서 AI 조작 방지 시스템을 강화하며 대응하고 있습니다. 전문가들은 사용자들이 당장 이러한 AI의 단답형 결과를 비판 없이 수용하지 않도록 경계해야 한다고 강조합니다.
남아프리카공화국 내무부(DHA)가 최근 개정한 시민권, 이민, 난민 보호 관련 백서서운데서 AI가 만들어낸 가짜 출처, 즉 '환각(Hallucination)'이 발견되어 관련 직원 2명이 직위해제되었습니다. 이는 일주일 전 통신부의 AI 정책 초안에서도 발생했던 동일한 문제로, 공공 부문에서 AI 활용이 급증함에 따라 생성된 콘텐츠에 대한 철저한 검증 절차가 시급해짐을 보여줍니다.
최근 X(옛 트위터)에서 시간 여행을 하는 초지능 AI가 백악관 기자단 만찬 총격 사건을 사전에 경고하려 했다는 음모론이 크게 유행했습니다. 특정 트윗에 사용된 3D 추상 이미지가 트럼프 암살 시도 현장을 암시한다는 주장이었으나, 조사 결과 해당 이미지는 '타임 머신' 웹사이트 전용이 아니라 2021년부터 인터넷에 널리 쓰인 평범한 무료 스톡 이미지로 밝혀졌습니다. 이 사건은 AI와 관련된 억측이 어떻게 가짜 뉴스와 음모론으로 확산될 수 있는지 보여주는 좋은 사례입니다.
오픈AI가 가짜 기자명을 내세워 조작된 뉴스 기사를 게재하는 가짜 뉴스 사이트를 운영한 사실이 포착되었습니다. 해당 사이트는 인공지능의 안전성을 강화해야 한다고 주의를 기울이는 연구원 및 옹호자들을 집중적으로 겨냥해 비방 캠페인을 벌인 것으로 확인되었습니다. 이는 주요 AI 기업이 자사의 입장을 관철하기 위해 여론을 조작하는 '어스트로터핑(Astroturfing)' 기법을 사용했다는 점에서 업계 전반에 큰 윤리적 파장을 일으키고 있습니다.
최근 딥페이크 기술의 발달과 쉽게 접근 가능한 생성형 AI 모델의 보급으로, 가짜 음란물부터 정치적 선전까지 악의적인 딥페이크가 실제처럼 빠르게 유포되고 있습니다. 이러한 '무기화된 딥페이크'는 여성과 소외 계층에게 편향된 피해를 입히며, 사회적 신뢰와 비판적 사고를 저하시키는 심각한 문제를 야기하고 있습니다. 기업의 자체적 기술 통제나 정부의 규제에도 명확한 한계가 드러나는 가운데, 올해 있을 미국 중간선거 등을 앞두고 그 위험성이 더욱 커지고 있습니다.
인도의 한 의대생이 구글 제미나이(Gemini)의 조언을 받아 미국 보수층을 겨냥한 '에밀리 하트'라는 가짜 AI 인플루언서를 만들어 한 달에 수천 달러를 벌었다. 그는 AI로 생성한 백인 금발 미녀 이미지를 소셜 미디어에 올리며 반이민, 기독교 우위 등 극우 성향의 게시물을 유포했고, 이에 끌린 미국 중장년 남성들의 구독과 굿즈 판매로 막대한 수익을 창출했습니다. 이 사건은 특정 정치적 성향과 낮은 디지털 리터러시를 악용해 AI를 조작하는 사이버 범죄의 새로운 형태를 보여줍니다.